آموزش خراش دادن وب با اسکرپی و پایتون برای مبتدیان [ویدئو]

سرفصل ها و درس ها

مقدمه دوره Introduction to the Course

• Web Scraping چیست؟ What Is Web Scraping

• نحوه عملکرد Web Scraping How Web Scraping Works

• خراش دادن وب با اسکرپی Web Scraping with Scrapy

نصب اسکراپی Scrapy Installation

• نصب Scrapy برای ویندوز Scrapy Installation for Windows

• نصب Scrapy برای اوبونتو (لینوکس) Scrapy Installation for Ubuntu (Linux)

• ایجاد پروژه Scrapy Creating Scrapy Project

• بررسی پروژه Project Walkthrough

خراش عنکبوت Scrapy Spider

• ایجاد عنکبوت Creating Spider

• ارسال درخواست Sending Request

• دریافت پاسخ Getting the Response

• انتخابگر CSS Scrapy Scrapy CSS Selector

• انتخاب همه داده ها Selecting All the Data

• استخراج داده ها Extracting Data

• بررسی اجمالی عنکبوت Spider Overview

انتخابگرهای CSS CSS Selectors

• انتخابگرهای CSS در مقابل XPath: نحوه انتخاب عناصر وب CSS Selectors Versus XPath: How to Select Web Elements

• انتخابگرهای برچسب، کلاس و شناسه Tagname, Class, and Id Selectors

• انتخابگرهای ویژگی Attribute Selectors

XPath XPath

• عبارات XPath XPath Expressions

• انتخابگرهای ویژگی XPath XPath Attribute Selectors

• تابع XPath text( ). XPath text( ) Function

پوسته خراشیده Scrapy Shell

• پوسته Scrapy چیست و چگونه از آن استفاده کنیم؟ What Is the Scrapy Shell and How to Use It?

• پاسخ fetch( ) fetch( ) Response

• پیکربندی پوسته Shell Configuration

اقلام خراشیده Scrapy Items

• ساختار داده‌ها در مورد Scrapy Structuring Data into Scrapy Item

• استفاده از آیتم در عنکبوت Using Item in Spiders

• پردازنده های ورودی و خروجی را برای فیلدهای آیتم تعریف کنید Define Input and Output Processors for Item Fields

• بارگیری اقلام با لودرهای Scrapy ItemLoader Loading Items with Scrapy ItemLoaders

• بررسی اجمالی آیتم ها، پردازشگرها و آیتم لودرها Items, Processors, and ItemLoaders Overview

صادرات داده Exporting Data

• خروجی داده های استخراج شده در فرمت های JSON، CSV و XML Output Extracted Data in JSON, CSV, and XML Formats

• بازنویسی خروجی قبلی Overwrite Previous Output

• افزودن داده به خروجی قبلی Appending Data to Previous Output

خط لوله اقلام خراشیده Scrapy Item Pipeline

• نحوه استفاده از خطوط لوله اسکراپی How to Use Scrapy Item Pipelines

• ذخیره داده ها به صورت محلی در فایل های اکسل (XLSX). Saving Data Locally to Excel ( XLSX ) Files

• Item Pipelines را در تنظیمات فعال کنید Enable Item Pipelines in Settings

• راه اندازی MongoDB (حساب). MongoDB (Account) Setup

• ذخیره داده ها در MongoDB Saving Data to MongoDB

صفحه بندی Pagination

• استخراج لینک از ویژگی های href Extracting Links from href Attributes

• ارسال درخواست به صفحه بعدی Send Request to the Next Page

• روش start_requests( ). start_requests( ) Method

دنبال کردن لینک ها Following Links

• نحوه فالو کردن لینک ها How to Follow Links

• نحوه انتخاب داده ها با استفاده از عبارات منظم با Scrapy How to Select Data Using Regular Expressions with Scrapy

• تنظیم عملکرد سفارشی برگشت به تماس Setting Up Custom Callback Function

• صفحه جزئیات محصول را تجزیه کنید Parse Product Details Page

جداول تراشیدن Scraping Tables

• جداول HTML HTML Tables

• انتخاب داده های جداول Selecting Tables Data

• استخراج داده ها از جداول HTML Extract Data from HTML Tables

ورود به وب سایت ها Logging into Websites

• داده ها با فرم های ورود به سیستم پنهان می شوند Data Hidden with Logging Forms

• بررسی فرم های HTML و فعالیت وب سایت با ابزار Dev Inspecting HTML Forms and Website Activity with Dev Tools

• ورود به وب سایت ها با FormRequest Logging into Websites with FormRequest

• فرم های ورود محافظت شده CSRF CSRF Protected Login Forms

• استخراج مقادیر CSRF از فرم ها Extract CSRF Values from Forms

خراش دادن وب سایت های رندر شده جاوا اسکریپت Scraping JavaScript Rendered Websites

• وب سایت های رندر/دینامیک جاوا اسکریپت چیست؟ What Are JavaScript Rendered/Dynamic Websites?

• اسکرپی-نمایشنامه نویس نصب scrapy-playwright Installation

• راه اندازی نمایشنامه نویس در پروژه Scrapy Setting Up Playwright in Scrapy Project

• استفاده از نمایشنامه نویس برای ارائه وب سایت ها Using Playwright to Render Websites

• خراش دادن داده ها از وب سایت های پویا Scraping Data from Dynamic Websites

نمایشنامه نویس اسکرپی Scrapy Playwright

• مروری بر نمایشنامه نویس Playwright Overview

• نمایشنامه نویس صفحه شی Playwright Page Object

• ورود به سیستم با نمایشنامه نویس Logging in with Playwright

• وب سایت های پویا با صفحه های بارگذاری Dynamic Websites with Loading Screens

• منتظر Selector/Elements با استفاده از صفحات کوروتین باشید Wait for Selector/Elements Using Page Coroutines

• وب سایت های پویا با اسکرول بی نهایت Dynamic Websites with Infinite Scroll

• گرفتن اسکرین شات از وب سایت ها Taking Screenshot of Websites

• رندر کردن وب سایت ها به PDF Rendering Websites to PDF

نقاط پایانی API API Endpoints

• شناسایی تماس های API Identifying API Calls

• درخواست داده از API Requesting Data from API

• استخراج داده از API Extracting Data from API

تنظیمات Settings

• تنظیمات پروژه اسکرپی Scrapy Project Settings

• متن روبات ها Robots Text

• میان افزار Middleware

• پسوند خودکار دریچه گاز Autothrottle Extension

عوامل کاربر و پروکسی ها User Agents and Proxies

• عوامل کاربر چیست؟ What Are User Agents?

• عوامل کاربر با Scrapy User Agents with Scrapy

• پروکسی ها چیست؟ What Are Proxies?

• پروکسی با Scrapy Proxies with Scrapy

نکات و ترفندها Tips and Tricks

• استدلال عنکبوت Spider Arguments

• عنکبوت های مستقل Standalone Spiders

• Scrapy Shell با bpython Scrapy Shell with bpython

• Scrapy Get Versus Extract Method Scrapy Get Versus Extract Method

• ورود به سیستم Logging

پروژه 1: جدول لیگ قهرمانان از ESPN.com Project 1: Champions League Table from ESPN.com

• بررسی اجمالی Overview

• بازرسی بصری وب سایت Website Visual Inspection

• پیدا کردن انتخابگرها Finding the Selectors

• ساخت عنکبوت: استخراج داده های تیم Building the Spider: Extract Teams Data

• Building the Spider: استخراج جزئیات تیم Building the Spider: Extract Teams Details

پروژه 2: رتبه محصول آمازون Project 2: Amazon Product Rank

• بررسی اجمالی Overview

• تجسم اسکراپر Scraper Visualization

• پیدا کردن انتخابگرها Finding the Selectors

• ساختن عنکبوت Building the Spider

پروژه 3: گسترش Scraper با رابط کاربری گرافیکی Project 3: Extending Scraper with GUI

• برنامه Scraper Scraper Application

• ساخت رابط کاربری گرافیکی (رابط برنامه) Building the GUI (Application Interface)

• اجرای Spider از برنامه Running the Spider from the Application